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基于 注意 力 网 络 的 情感 分 析 中 的 对 比 句 处 理 
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摘 要 : 方面 级 情感 分 析 旨 在 确定 评论 中 对 特定 方面 的 情绪 极 性 ， 但 目前 较 少 研究 复杂 和 名 对 情感 分 类 的 影响 。 基 于 
此 ， 提 出 了 一 种 基于 BERT 和 带 相对 位 置 自 注意 力 网 络 的 方面 级 情感 分 析 模 型 。 首 先 ， 通 过 动态 加 权 采 样 方法 平衡 
对 比 句 稀缺 的 问题 ， 使 模型 学 习 到 更 多 的 对 比 句 特征 信息 ; 其 次 ， 利 用 双 头 自 注 意 力 网 络 提取 带 相 对 位 置 的 特征 表 
示 ， 与 预 训 练 模型 得 到 的 带 绝 对 位 置 的 特征 表示 联合 训练 ; 最 后 ， 通 过 标签 平衡 技术 对 模型 正则 化 处 理 ， 稳 定 模型 
对 中 性 样本 的 辨识 。 该 模型 在 SemEval2014 Task 4 Sub Task 2 上 进行 实验 ， 在 两 个 数据 集 上 的 Accuracy 和 Macro-fl 
指标 都 有 所 提高 。 实 验 结果 表明 , 该 模型 在 对 比 句 分 类 上 是 有 效 的 , 同时 在 整个 测试 集 上 分 类 也 优 于 其 他 基准 模型 。 
关键 词 : 方面 级 情感 分 析 ; 对 比 句 ; 注意 力 网 络 ; BERT 模型 ; 相对 位 置 编 码 
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Handling contrastive sentences in sentiment analysis with attention network 
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(1. School of Internet of Things Engineering, JiangSu Vocational College of Information Technology, WuXi Jiangsu 214000, 
China; 2. School of Artificial Intelligence & Computer, JiangNan University, WuXi Jiangsu 214000, China) 


Abstract: Aspect-level sentiment analysis aims to determine the sentiment polarity towards specific aspect in reviews. 
However, little research has been done on the influence of complex sentences on sentiment classification. Based on this, this 
paper proposed an aspect sentiment classification model based on Bert and Self-attention network with relative position. 
Firstly, it used the dynamic weighted sampling method to balance the rare contrastive sentences, so that the model can learn 
more contrastive sentence feature information. Then, it jointly trained the feature representations extracted by double-head 
self- attention network with relative position and the feature representations obtained by the Pre-trained model with absolute 
position . Finally, it used the label smoothing regularization technology to stabilize the model to identify the neutral samples. 
It tested this model on Sub Task 2 in SemEval 2014 task, and improved both accuracy and Macro-F1 indicators of the two 


mu datasets. The experimental results show that the effectiveness of the proposed model for contrastive sentences classification, 
r and also yield improvements in the whole test set over other benchmark models. 
Key words: aspect-level sentiment analysis; contrastive sentences; attention network; bert model; relative position encoding 


= 0 “引言 一 般 语言 知识 ， 本 身 己 经 包含 了 很 丰富 的 语法 语义 知识 ， 但 
f 如 何 有 效 地 将 其 知识 适应 下 游 任 务 仍 然 是 一 个 关键 问题 器 。 
文本 情感 分 析 可 以 帮助 企业 准确 的 分 析 用 户 对 产品 各 个 司 时 ， 由 于 维基 百科 文章 内 容 客观 陈述 的 多 ， 而 带 情感 的 3 
方面 的 评价 ， 为 企业 制定 详细 产品 更 新 策略 提供 有 效 参 考 意 观 评论 少 ， 导 致 BERT 模型 对 情感 方面 的 内 容 学 习 不 够 ; 
见 。 而 且 细 粒度 的 情感 分 析 方 法 ， 因 其 在 对 话 系 统 、 在 线 讨 加 上 通常 用 于 ASC 分 析 的 数据 集 都 只 有 少量 的 训练 样本 , 使 
论 和 社交 网 络 等 现实 场景 中 的 广泛 应 用 而 受到 学 术 界 和 业界 得 原本 就 复杂 的 ASC 任务 依然 面临 着 严峻 的 挑战 [1。 
的 关注 和 兴趣 巾 。 方 面 级 情感 分 类 (aspect-level sentiment 另外 ，ASC 任务 不 仅 缺乏 带 有 标签 的 训练 数据 ， 还 存在 
classification，ASC)D 是 一 种 细 粒 度 的 情感 分 析 任务 ， 它 旨 在 复杂 句 问题 (例如 对 比 情 绪 句 、 内 隐情 绪 句 和 具有 误导 性 的 中 
确定 一 个 句子 中 方面 词 的 情感 极 性 (例如 : 积极 、 消 极 、 中 性 )。 性 评论 )， 如 表 1 所 示 ， 例 如 评论 “airhas higherresolution but 
一 个 句子 可 能 含有 多 个 方面 词 ， 且 每 个 方面 词 的 情感 极 性 可 the fonts are small.”， 这 个 句子 就 存在 两 个 个 目标 方面 : 
能 不 同 ， 所 以 需要 指定 目标 方面 才能 判断 相应 的 情感 极 性 。 “resolution”“fonts”， 和 相互 对 立 的 情绪 极 性 : "higher" 
近年 来 ， 深 度 学 习 通 过 构建 神经 网 络 自动 进行 学 习 提 取 为 积极 ，“small” 为 消极 ; 在 评论 “The waiter poured water 
特征 ,在 情感 分 析 领 域 展现 出 良好 的 性 能 Bl。 基 于 BERTHS on my hand and walked away.” 中 并 不 包含 情感 词 ， 但 面向 目 
的 预 训练 模型 (Pre-trained Models，PTMs) 就 是 其 中 最 先进 的 标 方面 “waiter” 很 明显 呈现 消极 ;而 评论 “The service was 
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模型 之 一 ， 已 被 证 明 在 GLUE 基准 测试 局 上 上 有 具有 最 先进 的 性 typical short-order, dinner type.” KIRJE H Kal, i HERY 
能 ， 包 括 文本 分 类 。BERT 是 一 个 在 维基 百科 大 型 文本 语 料 面 “service” 情 感 极 性 为 中 性 。 以 上 这 些 复杂 句 都 超出 了 现 
库 中 预先 训练 过 的 语言 模型 ， 它 特殊 的 结构 允许 对 有 监督 的 有 模型 的 学 习 能 力 钙 。 

ASC 等 下 游 任务 进行 微调 。 虽 然 PTMs 从 大 型 语料库 中 获取 该 文通 过 进一步 研究 BERT 作为 预 训 练 模型 的 不 足 和 
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ASC 数据 集中 复杂 名 (例如 ， 不 同方 面具 有 不 同 极 性 的 句子 ) ” 少 得 多 ， 这 就 是 一 个 类 别 严 重 不 平衡 的 情况 。 对 于 缓解 类 别 
的 分 布 与 特征 ， 基 于 BERTDKII， 在 采样 、 特 征 提取 等 方面 不 平衡 问题 ， 比 较 基 本 的 方法 就 是 调节 样本 权重 081。 在 学 习 
优化 与 复杂 句 特征 相关 的 微调 技术 。 该 文 的 主要 贡献 有 : 1) 中 为 少数 类 样本 赋予 更 高 的 权重 ， 比 如 在 神经 网 络 中 ， 使 得 
对 验证 集 上 的 错误 样本 进行 实证 研究 ， 系 统 总 结 易 错 样本 的 少数 类 产生 的 误差 损失 对 网 络 权重 更 新 贡献 更 大 。 调 整 样本 
特征 ; 2) 提出 了 一 种 新 的 方面 级 情感 分 析 框 架 ,提高 了 复杂 权重 在 领域 适应 02 和 情感 分 析 B 都 得 到 应 用 , 但 加 权 目 的 和 
句 和 整个 测试 样本 的 分 类 性 能 ; 3) 将 利用 注意 力 模块 提取 出 加 权 方 法 完全 不 同 。 该 文 则 是 通过 调整 对 比 句 采样 权重 来 改 
带 相 对 位 置 的 特征 表示 ， 与 BERT-DK 模块 提取 出 带 绝对 位 善 罕见 但 关键 的 样本 在 训练 中 的 影响 性 。 
置 的 特征 表示 联合 训练 ， 提 升 模型 对 位 置信 息 的 捕获 能 133 自 注 意 力 机 制 
4) 首次 将 加 权 随 机 采样 应 用 于 方面 级 情感 分 析 中 。 注意 机 制 (Self-Attention)P21 自 提出 以 来 ， 迅 速 在 自然 
AY 评论 中 复杂 句 示 侦 语言 处 理 领 域 取 得 了 巨大 的 进展 。 对 于 文本 分 类 和 推荐 等 任 
Tab. 1 Examples of complex sentences in reviews 务 , 输入 是 一 个 序列 , 但 输出 不 是 一 个 序列 , 在 这 种 情况 下 ， 
评论 复杂 句 类 型 注意 力 可 以 用 于 学 习 相 同 输入 序列 中 的 每 个 token 的 与 之 相 
air has higher reso- lution but the fonts are small. 对 比 句 关 的 token, 注意 力 权重 的 日 的 是 捕捉 同一 序列 中 的 两 个 单词 
The waiter poured water on T 是 如 何 关联 的 ， 其 中 相关 性 的 概念 取决 于 主要 任务 [32。 
my hand and walked away. 和 对 于 给 定 的 词 租 入 层 输出 序列 X=(%w， 太 ,…,%) ， 为 每 个 
The service was typical short-order, dinner type. 误导 性 中 性 句 序列 位 置 创 建 三 个 向 量 (Q- 查 询 向 量 、K- 键 向 量 、V- 值 向 量 )， 
然后 对 每 个 位 置 使 用 Q、K、V 实现 注意 力 机 制 , 最 终 得 到 
1 ”相关 工作 EI Y =O) ， 其 中 包含 了 x 的 信息 以 及 x 与 所 有 其 
1.1 方面 级 情感 分 析 他 序列 位 置 的 关系 。 这 里 的 Q、K、YV 三 个 向 量 使 用 前 馈 层 生 
ASC 任务 既 可 以 单独 训练 , 也 可 以 和 方面 词 提取 (Aspect ” 成 。 自 注意 力 计算 公式 为 
Extraction， AE) 任务 一 起 联合 训练 10r. 己 需 要 关注 每 个 Attention(Q,K,V) = softmax( LKV a) 
体 方面 的 细微 观点 ， 因 此 相 较 于 篇 章 级 或 句子 级 的 情感 分 类 V4. 
任务 更 加 复杂 11。 其 中 ASC 任务 的 小 样本 问题 一 直 受 到 研 对 于 给 定 词 向 量 维度 ww ， 多 头 自 注意 力 即 指 对 维度 为 
究 者 的 重视 ,通常 采取 两 种 解决 途径 :一 种 是 通过 模型 优化 ， doa 1h 的 投影 (Q、K、V) 和 矩阵 执 行 h 次 注意 。 对 每 一 个 head, 
使 其 更 擅 于 捕获 语法 、 语义 特征 , 例如: Sun Chi 等 人 [2 通过 (Q、K、V) 被 唯一 的 投影 为 维度 为 ww h 的 矩阵 ， 自 注意 力 
对 方面 构造 辅助 句 的 方式 将 ASC 任务 从 单个 句子 分 类 任务 ”输出 维度 也 为 ww 14h。 然后 将 每 个 head 的 输出 连接 起 来 ,并 
转换 为 语句 对 的 分 类 任务 ， 类 似 于 机 器 问答 和 自然 语言 推理 再 次 应 用 线性 投影 层 ， 得 到 与 在 原始 (Q、K、V) 算 阵 上 执行 
任务 ， 通 过 对 BERT 预 训 练 模型 微调 获得 更 佳 性 能 。Karimi 次 自 注意 相同 维度 的 输出 。 整 个 过 程 用 公式 描述 如 下 : 
等 人 [ SRI ] XH BUSERETE BRUN T [RJ rH 生成 与 真实 世界 的 例子 MultiHead(Q, K,V) = Concat(head,....head, )W^ (2) 
类 似 的 数据 , 对 情绪 分 析 中 的 AE 和 ASC 两 个 任务 联合 对 抗 head; = Attention(QW/? , KW; ,VW ) (3) 
训练 , 提出 了 BERT 对 抗 训 练 (BAD) 的 新 架构 。 另 一 种 是 通过 其 中 投影 为 权重 矩阵 W egt, WE e Rw , WY e Romh ， 
辅助 额外 的 情感 字典 或 同 领域 语料库 , 例如 : He Ruidan 5& AU We e Ritt 。 
提出 的 PRET-MULT 框架 通过 共享 浅 层 代入 和 LSTM 层 的 在 设计 ASC“ 预 训练 + 微调 ”架构 分 类 器 时 ， 自 注意 力 
方式 从 亚马逊 评论 数据 集 上 训练 的 文档 级 情绪 分 类 任务 的 情 机 制 经 常 被 运用 于 对 下 游 任务 的 微调 中 P。 实 际 上 BERT 等 
感知 识 迁 移 到 ASC 任务 。 文 献 [7] 通 过 使 用 额外 特定 领域 的 预 训 练 模型 的 主体 是 Transformer， 而 Transformer 有 两 个 主 
数据 ， 提 出 一 种 后 训练 方法 微调 BERT 模型 从 其 源 领域 和 任 要 组 成 部 分 : 自我 注意 和 位 置 级 前 馈 层 。 两 者 都 是 排列 等 变 
务 适 应 到 方面 级 情感 分 析 领 域 和 任务 中 。 的 ， 并 且 对 输入 标记 的 顺序 不 敏感 。 为 了 使 模型 具有 位 置 感 
然而 , 最 近 基 于 神经 网 络 的 方法 较 少 关注 ASC 数据 集中 知性 ， 会 通过 自 注意 力 机 制 在 每 个 字符 位 置 的 词 嵌 入 的 基础 
包含 复杂 句 的 问题 。Xu Hu 等 人 05 用 具体 数据 和 实验 结果 证 上 ， 添 加 绝对 位 置 编 码 ， 但 是 这 种 绝对 位 置 编码 方式 会 导致 
Sk ASC 数据 集中 存在 对 比 句 且 极 其 罕见 (有 多 个 方面 且 具 有 些 片 段位 置信 息 损失 P4 。 


不 同 极 性 的 句子 称 为 对 比 句 )， 导 致 现 
很 好 地 学 习 这 些 对 比 句 知识 ， 从 而 “降级 ”为 句子 级 的 情感 
自 适应 重 加 权 (ARW) 方 案 ， 通 过 给 每 
练 样本 分 配 一 个 代表 训练 重要 性 的 权重 ， 
引导 向 强化 对 比 句 的 样本 训练 上 ， 
本 分 类 。LiZhengyan 等 人 09 对 
将 ASC 数据 集 划 分 为 外 显 式 | 
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题 看 做 简单 的 不 平衡 类 问题 ， 
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提取 的 绝对 地 址 特征 和 


句 的 采样 频率 ; 


切片 ， 结 果 表 明 大 约 有 30% 的 评论 被 划分 为 隐 式 情绪 表达 。 
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比如 在 命名 实体 识别 中 ， 显 然 一 句 话 里 边 实 体 是 比 非 实 体 要 


情感 知识 来 ， 将 内 隐情 绪 表 达 的 表现 与 具 
签 的 表现 对 齐 ， 并 采用 方 
绪 识 别 的 能 力 。 


调整 样本 权重 
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] 于 分 类 的 机 器 学 习 算 法 都 是 在 假设 平衡 类 的 ' 
然而 ， 在 现实 生活 中 ， 拥 有 适当 平衡 的 数据 
Fh， 也 存在 大 量 的 类 别 不 平衡 的 


。 最 经 
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启发 ， 该 文 提出 了 DWS+ RpSAN 来 
解决 BERT 预 训练 模型 位 置信 息 损 失 和 ASC 任务 中 复杂 句 
首先 是 利用 将 对 比 句 稀缺 问 
通过 动态 调整 训练 样本 的 采样 
其 次 结合 了 BERT 预 训练 模 
自 注意 力 模块 提取 的 相对 地 址 特征 ， 


通过 并 行 训练 , 弥补 了 预 训练 模型 在 位 置信 息 提取 方面 的 不 足 。 
2 ”数据 集 分 析 

该 文 在 当下 最 受 欢迎 的 ABSA 基准 数据 集 SemEval 2014 
Task 4 Sub Task 2 29 上 评估 算法 的 性 能 ， 该 数据 集 包 括 2 个 
方面 的 领域 : 餐厅 (简称 Rest) 和 笔记 本 电脑 (简称 Lap)， 拥 有 


3 种 情绪 标签 : 积极 、 消 极 和 中 性 ,每 个 


或 多 个 目标 方面 


7], 


前 人 的 实验 结 


Ew 因此 ， 这 些 


， 这 些 评论 包含 不 规则 


FH 
个 


用 了 Xu Hu 等 人 05 实 验 中 对 


数据 是 ri 
进行 比较 ， 确 保 实 验 数 ] 
原始 数据 


Hm 


原始 数据 集中 存在 冲突 的 句子 ,对 每 条 评论 添 力 


DES BU. AH ES 
据 的 一 致 性 ， 
的 处 


Il “contra” 


评论 包含 0 个 、1 个 
的 词汇 单位 和 句法 模 
EH HTS 
该 文采 
H, 包括 删除 了 


标 
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签 ， 并 从 测试 集中 


取出 对 比 性 句子 创设 一 个 独立 的 数据 全 
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样本 问题 ， 


以 测试 比较 各 模型 处 理性 能 。 详 细 统 计数 据 如 表 2 和 3 所 示 。 


Pontikil26 


等 人 在 对 这 两 个 领域 数据 集注 释 过 程 中 发 现 : 


在 Lap 数据 集中 ， 用 户 对 笔记 本 电脑 的 评论 多 为 一 个 整体 ， 


并 且 当 他 们 对 特定 方 


些 方面 (例如 “昂贵 ”、 


方面 (例如 “价格 ”、 


看 评论 时 ， 通 常 使 用 形容 词 隐 含 指 代 某 
“ 重 ” 等 )， 而 不 使 用 具体 明确 的 目标 
“重量 ”等 )， 因 此 相 比 之 下 Rest 数据 


集 包 含 了 更 多 的 


标 方面 。 


表 2 可见， 在 训练 集中 ， 含 


方面 


| 的 句子 占 比 在 Rest 数据 集中 达到 7596, 而 在 Lap 数据 集 
中 仅 为 47.75%。 此 外 ， 对 笔记 本 


电脑 的 评论 经 常 提 到 功能 描 


述 而 不 表达 任何 情绪 (例如 “Has a 5-6 hour battery life.”)， 从 
而 导致 Lap 数据 集中 包含 了 更 多 的 中 性 样本 。 


表 2 SemEval 2014 Task 4 Sub Task 2 方面 情绪 分 类 统计 表 


Tab.2 Summary of semeval 2014 Task 4 Sub Task 2 on aspect 


sentiment classification 


Rest Lap 
训练 集 
# 句 子 2000 3045 
# 方 面 1743 2358 
# 积 极 2164 987 
# 消 极 805 866 
# 中 性 633 460 
# 含有 方面 的 句子 1978 1462 
% 含 有 方面 的 句子 75% 47.75% 
# 对 比 性 句子 319 165 
% 对 比 性 句子 16.1% 11.3% 
测试 集 
# 句 子 676 800 
# 方 面 622 654 
# 积 极 728 341 
# 消 极 196 128 
# 中 性 196 169 
# 含有 方面 的 句子 600 411 
% 含 有 方面 的 句子 88.8% 51.4% 
# 对 比 性 句子 80 38 
% 对 比 性 句子 13.3% 9.2% 
另外 ， 最 能 体现 和 评估 模型 处 理 细 粒 度 情感 分 类 性 能 世 


对 比 性 情绪 名 在 这 两 个 领域 的 训练 集 和 测试 集中 都 很 罕见 。 
Rest 训练 集 上 的 对 比 性 句 约 16%， 而 Lap 训练 集 上 更 少 ( 约 


11%)， 其 至 比 注释 错误 的 句子 (可 以 看 做 是 噪声 ) 还 要 少 。 在 
寸 比 句 匮乏 的 数据 集 上 训练 的 机 器 学 习 模 型 倾向 于 
降级 为 粗 粒度 (句子 级 ) 情 感 分 类 器 。 例 如 ， 对 于 评论 “The 
Screen is good and also the battery.” 尽 管 存 在 两 个 


这 样 一 个 


> 


“screen” 和 “battery 
使 得 整 句 也 呈 积 极 ， 


标 方面 
”, 但 每 个 目标 方面 情感 极 性 都 为 积极 ， 
模型 处 理 这 样 的 评论 相当 于 人 处理 句子 级 


的 情感 分 类 。 事 实 上 ， 大 多 数 样 本 主导 训练 过 程 ， 罕 见 但 重 


还 因为 对 某 一 特定 主题 发 表意 见 的 评论 通常 整 句 


呈现 出 一 种 一 致 性 意见 而 非 对 比 性 意见 ， 在 这 种 情况 下 ， 存 
在 类 数据 不 平衡 问题 ,任何 分 类 器 都 会 偏向 于 多 数 非 对 比 句 ， 


而 这 些 问 题 在 Lap 数据 集 上 尤为 突出 。 
3 ”提出 的 方法 


3.1 问题 定义 


给 定 一 个 上 下 文 序 列 丽 "= ff w.. we} 和 W ew wis wi), 


其 中 w 是 w 的 子 序列 ， 方 面 级 情感 分 析 任 务 旨 在 预测 目标 


方面 W' 在 句子 W: 中 的 情感 倾向 。 图 1 
M. 


由 融合 领域 意识 的 BERT DK HOA 
编码 层 和 输出 层 构成 。 
Model Loss 


Loss A 


—— en en 


方面 词 词 向 全 
图 1 
Fig. 1 


3.2 动态 加 权 随 机 采样 


鉴于 对 比 句 是 细 粒 度 情 感 分 析 任 务 的 关键 样本 又 非常 罕 
需要 思考 现 有 的 训练 过 程 中 如 何 使 得 机 器 学 习 模型 从 这 


见 ， 


LossR 


p = m m o — 


展示 了 所 提出 的 相对 


Y 置 自 注 意 编码 器 网 络 (DWS+RPSAN) 的 整体 架构 ， 它 主要 


带 相对 位 置 自 注意 力 


OQ 1 带 相对 位 置 
-特征 表示 


WeightedRandomSampler 


上 下 文 词 向 旦 


BERTDK+DWS+RPSAN 模型 结构 


Bert-dk+dws+rpsan model architecture 


些 罕见 的 样本 中 学 习 。 假 设 将 数据 集中 样本 分 为 对 比 性 和 非 


对 比 性 两 类 : 
中 随机 采样 得 到 的 概率 为 


p(x €class;) = 


#{class;} | Naass, 


于 均匀 分 布 ， 从 每 个 类 


ClaSS eonna 和 class, ous ， 基 于 


(4) 


train 


而 Rest 训练 集 上 class, 2,,:classsí, *5 , Lap 训练 集 上 


class, um:classom s9 ， 两 个 数据 集 上 


Pas, emra 之 Nass s 


, Rp 


pGreclass, onra) > p(xeclasss,,) ， 如 果 使 用 这 样 的 数据 集训 练 


要 的 样本 很 容易 被 忽略 ， 甚 至 可 能 被 认为 是 噪声 ， 这 对 于 大 


多 数 机 器 学 习 模型 来 说 是 一 个 普遍 且 广 泛 存在 的 问题 ， 可 以 


看 做 不 平衡 数据 问题 。 
表 3 对 比 性 句子 测试 集 统计 表 
Tab.3 Summary of Contrastive Test Set 
对 比 性 句子 测试 集 Rest Lap 
# 对 比 性 句子 80 78 

# 方 面 228 203 
# 积 极 85 72 
# 消 极 60 71 
# 中 性 83 60 


通过 上 述 分 析 ， 


可 以 看 出 两 个 领域 的 数据 集 不 仅 存在 小 


子 ， 导 致 深度 学 习 模型 很 难 从 现 有 的 


模型 ， 那 么 模型 看 到 的 非 对 比 性 句子 机 会 要 远大 于 对 比 性 句 


| 练 过 程 中 学 习 这 些 军 


见 样本 。Gao 等 人 中 7 通过 研究 发 现 ， 在 训练 的 早期 阶段 ， 大 
多 数 样本 的 损失 主导 了 总 损失 , 并 决定 了 模型 参数 更 新 方向 。 


B AEH, 
REDE 。 
FER PAIA 


尽管 罕见 样本 主导 总 损失 ， 但 是 可 能 对 总 损 
在 最 坏 的 情况 下 ， 当 优化 器 开始 过 拟 合 大 多 数 
节 时 ， 才 可 能 会 考虑 到 罕见 的 例子 的 损失 ， 意 


味 着 验证 过 程 中 为 了 避免 过 拟 合 可 能 会 在 罕见 样本 真正 得 到 


良好 优化 之 前 停止 对 模型 的 训练 。 


考虑 到 这 种 罕见 但 重要 的 样本 很 容易 被 忽略 的 机 器 学 习 
R 


过 程 ， 需 要 解决 两 个 问题 : 


是 在 训练 时 其 


阶段 增加 对 比 句 


样本 ; 二 是 在 验证 过 程 找到 最 佳 模型 2 


前 更 早 地 增加 (或 重新 
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方案 是 平衡 训练 和 


能 的 策略 .由 于 数 和 


平衡 ) 那 些 没 有 被 很 好 优化 的 样 


4E 


zm 


本 的 采样 机 会 。 一 个 自然 解决 
ce aee 或 少数 类 过 采样 是 两 种 可 


RIETER 欠 采 样 的 多 数 类 是 次 最 优 的 ， 
对 为 可 能 会 在 学 习 过 程 中 失去 有 意义 的 样本 。 
少数 类 是 一 个 更 好 的 解决 方案 
本 进行 数据 加 强 ， 使 得 pre class, c 


因此 ， 过 采样 
ON 。 在 采样 时 对 罕见 且 重 要 样 
mra) = P(xeclassqu)) 。 由 于 深 


度 学 习 模 型 通常 是 在 逐 批 处 理 的 基础 


上 进行 训练 的 ， 调 整 每 


类 样 


处 理 


基于 上 述 分 

不 断 调 整 在 训练 
数值 不 能 明确 
验 中 使 用 正确 率 
的 采样 权重 。 


上 两 种 类 别 样 
class, 类 样 


epo 
wP” 


权重 更 新 公 


Wa = yyepocha + gx error _ rate a 


分 类 错误 率 ， 
本 类 别 对 加 权 采 


本 的 采样 


} 析 ， 
tk 


人 


区 分 模型 是 否 在 一 个 样 
加 权 法 ， 
同时 ， 为 避免 模型 过 度 适 应 少数 类 ， 每 轮 迭 代 
结束 后 ， 找 到 分 类 不 正确 的 样本 和 对 应 的 类 别 ， 
本 分 类 错误 率 动 态 更 新 权重 。 
BUR we 
(no. contra,contra) ， 初 始 化 权重 设 


chy 


样本 。 


Hn 


AR BUE BL EAE T E SERETR AN ARREST, AEREA 
样本 都 参与 学 习 过 一 次 ， 模 型 可 以 集中 于 那些 没 
(分 类 错误 ) 的 


被 很 好 地 


该 文 的 目标 是 设计 一 个 动态 自 适 应 方案 ， 
FP 已 知 的 对 比 名 采样 的 权重 。 由 于 概率 的 
本 上 犯 了 错误 ， 所 以 实 
控制 权重 赋予 对 比 性 句 更 大 


Tu 


即 通过 


根据 验证 集 
设 第 n HER 


LT: 


total _ sample — num gass, 


n-l (5) 


total _ sample 


UNT: 


n22 


(6) 


H. rH error _ rate «a 表示 第 n-1 次 epoch 中 验证 集 上 class; 类 的 
5 是 更 新 因子 ， 用 于 调节 验证 集中 分 类 错误 样 
样 的 影响 ， 能 影响 下 
权重 ， 越 大 则 分 类 错误 样 


EPA 
本 的 类 别 对 下 一 轮 迭 代 加 权 采 样 影 


响 越 大 ， 反 之 ， 对 下 一 轮 连 代 加 权 采 样 的 影响 就 越 小 。 该 文 


尝试 ze (0.0. 


0.05、0.1、 
相当 于 每 轮 迭 代 时 的 各 类 别 采 样 


0.15, 0.2, 0.25. 0.3}, £=0.0 Hf, 


此 时 模型 在 对 比 句 分 类 上 已 获得 了 一 定 的 性 能 提升 ， 随 着 e 


值 的 提升 ， 模 型 性 能 并 不 是 一 


直 提升 ， 而 是 先 递增 后 递减 ， 


等 : 基于 注意 力 网 络 的 情 


权重 为 初始 化 权重 保持 不 变 ， 
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的 时 候 ， 需 要 额外 考虑 X, 对 Xi 的 


两 个 与 位 置 相关 的 向 量 。 
制 两 个 序列 位 置 之 间 最 大 的 距离 
发 现 上 >8 
算法 1 BERT-DK+DWS+RPSAN 
Algorithm 1: BERT-DK+DWS+RPSAN 


A. K 


Input : D,: 
e: maximum number of epochs. 
Output: P|, :): 


N — Natas, 


1 Ww, «- 
n 


// 初始 化 所 有 样本 权重 
2 for epoch € {1， 5, 6€] 


piny 


3 do 


同时 引入 一 个 可 调 


参数 上 ， 用 于 限 
HRT ke{h212}, 


training set with n samples; 


a trained model. 


ie(no_contra,contra) 


4 for (ab, xb, yb) € Batchify( D, , w: ) 


// 检索 一 个 动态 加 权 随 机 采用 的 批 次 
5 do 
6 Embincoaer tavers» EMD poora 4 Bert - DK (a* , x^) 
// 使 用 bert-dk 模型 预 训练 
7 emb, «- RPSan(emb,, uu sus) 
// 使 用 带 相对 位 置 的 自 注意 力 层 提取 特征 
8 Lys €- CrossEntropy( ps C^ | emb,u4), Y") 
// VES ZEOSE RGB] UN IS S L AR 
9 Lycus, €- CrossEntropy( po^ | emb,,,, y^) 
// VETUS REDSEHIE EUR] BON IS S SCARE dA A 
10 L(Q) = icf E E. 
// 计算 带 标签 平滑 正则 化 的 联合 训练 损失 
11 BackProp& ParamUpdate( L, M ) 
// 反 向 传播 并 更 新 参数 
12 end 


13 加 €-argmax po y, | ains Xin) 


在 =0.1 时 获得 最 好 结果 ， 这 也 说 明 e 值 过 大 存在 过 分 强调 // 计算 当前 预测 结果 
分 类 结果 对 采用 权重 的 影响 。 X O; * S;A^class,Gr;)) 
3.3 BERT-DK KA Ja subdi n 

词 嵌 入 层 使 用 预先 训练 好 的 BERT-DK 模型 [9 来 生成 序 // 计算 错误 率 
列 的 词 向 量 ,该 模型 是 在 BERT6B] 的 基础 上 ， 针 对 BERT 对 情 15 w, 2w;-texerror rate, 
感 方面 的 内 容 学 习 不 够 ， 不 能 很 好 适用 于 评论 类 分 类 特别 是 // 调整 所 有 样本 权重 
细 粒 度 情 感 分 类 的 问题 ， 先 进行 掩 码 语言 建 模 ， 然 后 使 用 无 16 end 
监督 的 领域 (餐厅 或 笔记 本 电脑 ) 评 论 数 据 集 对 预先 训练 过 的 以 后 效果 就 没有 提升 了 ， 说 明 临 域 为 8 的 窗口 内 ， 
BERT 权重 进行 句子 预测 ， 提 高 其 领域 意识 ， 再 使 用 有 监督 attention 对 相对 位 置 比较 敏感 ， 窗 口 以 外 ， 相 对 位 置 可 以 不 
的 ASC 数据 进行 微调 。 经 过 BERT-DK 层 处 理 过 的 词 向 量 从 ”做 区 分 ， 即 临 域 为 8 的 窗口 以 外 ， 用 窗口 内 (gram=8) 的 嵌入 
某 种 程度 上 说 是 具备 领域 意识 的 。 向 量 平均 池 化 替代 。 将 中 ,of 定义 为 可 训练 的 向 量 ， 本 质 上 就 
3.4 ” 带 相对 位 置 的 自 注意 力 层 A VIL £j w* 9 Qv. WE) RR W Qus WE) s 

注意 力 机 制 属于 非 递归 模型 ， 无 法 捕捉 输入 序列 中 元 素 a% = Whin (7) 
的 顺序 ， 因 此 使 用 时 需要 显 式 地 编码 位 置信 息 。 目 前 常用 的 dj 二 Wo (8) 
有 三 种 嵌入 方式 : 正弦 位 置 编 码 、 通 过 学 习 得 到 的 位 置 编码 clip(x,k) = max( — k, min(k, x)) (9) 
和 相对 位 置 表示 。BERT-DK 嵌入 层 模块 已 使 用 正弦 位 置信 号 3.5 分 类 模型 
和 嵌入 绝对 位 置信 息 ， 用 于 处 理 序 列 问题 ， 而 相对 位 置信 息 在 由 于 现 有 ASC 模型 对 中 性 情绪 分 类 性 能 不 够 稳定 , 主要 
执行 自 注 意 力 计算 时 是 丢失 的 ， 会 导致 和 微调 的 实际 数据 2 表现 在 一 方面 易于 将 中 性 样本 分 类 成 积极 或 消极 ， 另 一 方面 
间 存 在 偏差 。 为 了 加 入 这 丢失 的 相对 位 置信 息 ， 该 文 使 用 易于 将 积极 或 消极 样本 分 类 成 中 性 极 性 ，BERT-DK+DWS+ 
Shaw 等 人 5 提出 的 相对 位 置 舱 入。 相对 位 置 柑 入 不 是 对 每 RPSAN BESTE JSUR IRL OE SCREEN M OE TRE 
个 位 置 使 用 固定 的 藤 入 , 而 是 根据 自我 注意 机 制 中 比较 的 * 键 ” 正则 化 (Label Smoothing Regu- larization, LSR)JP5, JH UJ 
和 “查询 ”之 间 的 偏 移 量 产生 不 同 的 学 习 冉 入 。 在 原 自 注意 。 和 匹 罚 低 粹 输出 分 布 ， 抑 制 模型 对 其 预测 的 自信 和 度 ， 达 到 稳定 
力 基 础 上 , 引入 了 两 个 只 与 相对 位 置 有 关 的 向 量 : da eRe, ”模型 对 中 性 类 的 判断 的 目的 。 对 于 训练 样本 x， 假 设 其 每 个 
学 习 每 两 个 序列 位 置 之 间 的 相对 位 置信 息 ， 其 采用 一 组 可 训 PRAE Kel.) 的 实际 概率 分 布 为 4klD0 ， 将 4kla 替换 为 
练 的 肉 入 向 量 来 表示 输入 句子 中 每 个 单词 的 位 置 编 码 。 如 果 q(k|x) « Q— 2)q(& | x) + Au() (10) 
attention 的 目标 词 是 X 的话 ， 引 入 这 两 个 向 量 之 后 ， 那 么 在 其 中 u(k) 是 标签 上 的 先 验 概率 分 布 , 4 为 平滑 参数 。 实 验 中 ， 


录用 定稿 K R, F: 基于 注意 力 网 络 的 情感 分 析 中 的 对 比 名 处理 


包含 了 所 有 实验 结果 的 总 结 。 
表 4 各 模型 在 完整 数据 集 和 对 比 句 测试 集 上 性 能 
Tab.4 Performance of ASC baselines and the proposed Scheme on 
both Full Test Set and Contrastive Test Set 


先 验 标签 分 布 统一 设置 为 uk)=1/C 。 

LSR 等 价 于 标签 先 验 概率 分 布 u( 如 与 模型 预测 分 布 po 之 
间 的 KL 散 度 。LSR 定义 如 下 : 

Ly, 2-Dy ((K)]|| po (11) 

因此 ，LSR 4H25-F Hi—o 2c SCR Ti UK ac oo 和 udo 蔡 换 
—^A 38 SURG BU o 

整个 模型 需要 优化 的 目标 函数 (损失 函数 ) 是 Ln ~ 
eune 和 Le HJAE XA HE UJ 


L(0)- 一 一 一 一 tL, (12) 
ELH, Lasse 和 Teerive 分 别 代 表 带 绝 对 也 址 特 征 表 示 和 带 相 对 


地 址 特征 表示 的 损失 。 

BERTDK+DWS+RPSAN 模型 的 参数 优化 过 程 如 算法 1 
BERT-DK+DWS+RPSAN 所 示 ， 提 出 的 算法 包含 三 个 阶段 : 
用 动态 加 权 随 机 采样 阶段 ,用 BERTDK i5] A TALEE Et , 
联合 带 相 对 位 注意 力 机 制 微调 阶段 。 


4 ”实验 及 分 析 


41 实验 环境 和 起 参数 设置 

所 有 的 实验 和 基准 测试 都 使 用 一 个 单一 的 GPU(GTX 1080 
了 Ti) 运行 ，CPU X Intel Core i7-8700K (24.7 GHz， 内 存 为 16G。 

微调 时 ， 对 于 超 参 数 的 设置 一 般 与 所 参考 和 对 照 的 实验 
保持 一 致 ,个 别 超 参 数 也 会 根据 新 模型 特点 进行 调整 。 其 中 ， 
自 注意 力 模 块 中 多 头 注意 力 head 的 个 数 与 Shaw 等 人 2 所 设 
置 的 一 致 ， 将 文本 向 量 分 成 2 个 头 效 果 是 最 好 的 。 在 辍学 率 
E, 与 前 者 的 高 辍学 率 0.7 不 同 , 更 倾向 于 0.1 这 样 的 低 轰 学 
率 ， 这 与 本 模型 基于 BERT 有 关 ， 一 般 BERT 模型 在 处 理 情 
感 分 类 时 ， 都 会 选择 0.1 作为 辍学 率 。 在 Rest 和 Lap 数据 集 
的 初始 学 习 率 选择 上 , 2e-5 和 3e-5 都 经 过 前 人 实验 反复 验证 
过 的 比较 好 的 设置 值 ， 该 文通 过 设计 多 种 消融 反复 实验 ， 发 
现 将 Rest 数据 集 初 始 学 习 率 设置 为 2e-5, 将 Lap 数据 集 初始 
学 习 率 设置 为 3e-5 是 最 合适 的 , 这 种 细微 的 差别 应 该 和 Rest 
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Ours:BERT- 


Rest Lap 
模型 
Acc. MFI Acc. MFI 

AOA 

完整 数据 集 81.20 74.50 
对 比 句 测试 集 42.98 33.66 42.86 33.53 

MGAN 

完整 数据 集 81.25 71.94 75.39 72.47 
对 比 句 测试 集 53.95 57.64 46.80 43.38 
BERT-DK 

完整 数据 集 8421 762 76.9 73.65 
对 比 句 测试 集 65.53 66.92 51.13 50.04 
BERT-DK-ARW 

完整 数据 集 85.35 78.46 77.23 73.81 


对 比 句 测试 集 
Ours:BERT-DK-DWS 
完整 数据 集 
对 比 句 测试 集 


71.84 72.66 61.08 60.34 


86.33 79.60 76.39 72.95 
73.90 74.91 62.81 61.97 


Ours:BERT-DK-«RPSAN 


完整 数据 集 
对 比 句 测试 集 


完整 数据 集 
对 比 句 测试 集 


86.09 79.42 77.82 74.89 
71.97 73.28 67.34 66.54 


DK+DWS+RPSAN 


86.88 81.48 78.90 75.63 
75.90 75.78 67.00 66.40 


从 实验 结果 可 以 看 到 采 月 


Lap 的 对 比 句 测试 集 性 能 


BERT+DK 方案 相 比 ， 也 提高 


完整 数据 集 的 性 能 在 Rest 


有 下 降 , 原 


动态 加 权 采 样 方法 后 ，Rest 和 


分 别提 高 了 约 8.4% 和 1196. 5 


数据 集 相 比 Lap 数据 集 包含 更 多 的 方面 级 句子 有 关 。 批 量 大 
小 设置 为 32， 与 BERT-DK 模型 保持 一 致 ， 每 批 都 是 通过 加 
权 随 机 采样 训练 集 构建 。 在 训练 过 程 中 , 设置 epoch 数 为 20， 
并 保存 在 此 期 间 训练 得 到 的 最 大 准确 率 模型 。 带 相对 位 置 和 


cr 


声 样本 ( 


的 一 些 注释 错误 使 得 整体 和 


BERT-DK4 


自 注意 力 模 型 的 词 向 量 维度 d, 与 BERT-DK 模型 输出 词 
入 相同 ， 设 置 为 300; 采用 Adam 优化 器 对 所 有 参数 进行 
新 , 设置 交叉 焙 损 失 的 标签 平滑 参数 4 为 0.2。 所 有 结果 的 了 
均 运 行 次 数 超过 10 次 。 
4.2 ”对比 模型 
该 文选 取 4 个 分 类 器 作为 基线 ， 同 时 对 该 文 提 出 的 合成 
新 的 改进 模块 进行 了 消融 实验 ， 结 果 表 明 所 有 的 模块 都 对 最 
后 的 性 能 有 帮助 作用 , 而 其 中 动态 随机 加 权 采 样 对 Rest 数据 
集 提供 了 最 大 的 贡献 ， 带 相对 位 置 的 自 注意 力 层 对 Lap 数据 
集 提供 了 最 大 的 贡献 。 
AOAP?I; 引入 了 一 个 attention-over-atten- tion(AOA) 神 经 
网 络 ， 以 联合 的 方式 对 目标 方面 和 句子 进行 建 模 ， 并 明确 地 
捕捉 方面 与 句子 上 下 文 之 间 的 交互 作用 。 
MGANG9: 利用 细 粒 度 和 粗 粒 度 的 注意 机 制 来 设计 
MGAN 框架 , 还 使 用 目标 方面 对 齐 损失 来 描述 具有 相同 上 下 
文 的 目标 方面 之 间 的 方面 级 交互 。 


Hd mE 


NI 


约 2%。 在 加 权 采 样 后 ，Rest 
上 有 所 改善 , 但 在 Lap 上 的 性 能 略 


ERE FRE. 


WES Qn 


-RPSAN 模型 使 Rest 和 Lap 的 对 比 句 测试 集 
性 能 分 别提 高 了 约 6.4% 和 15.5%， 值 得 一 提 的 是 ,在 Lap 的 
对 比 句 测试 集 上 性 能 达到 了 最 优 .与 BERT+DK 相 比 ,在 Rest 
对 比 句 测试 集 上 性 能 略 有 提升 ， 在 Lap 对 比 句 测 试 集 上 提高 


了 约 4.5%。 在 Rest 和 Lap 的 完整 数据 集 上 ， 


DK fil BERT-DK- AWS H 


LIA RT. 


因 可 能 是 加 权 采 样 不 适合 学 习 , 而 Lap itis fe rp e 
注释 错误 样本 ) 远 超 对 比 句 样 本 ， 该 模型 学 习 了 更 多 


性 能 较 BERT- 


BERTDK+DWS+RPSAN 模型 除了 在 Lap 的 对 比 句 测试 


s 


mm 
F am [xS 


句子 类 ， 


K 5 是 运行 BERTDK+DWS 运行 在 验 i 


的 整体 表现 ， 


集 上 性 能 咯 低 于 不 带 加 权 采 样 的 BERT-DK+R 


PSAN 模拟 , 其 


性 能 上 均 有 提升 ， 在 Rest 的 对 比 句 测试 集 上 尤为 显著 ,证 


每 个 批 次 的 左 仆 


了 该 文 的 改进 方法 是 有 效 的 ， 特 别 是 提高 了 模型 在 对 比 句 
真正 测试 了 细 粒 度 层面 
2 展示 了 分 别 使 用 随机 采样 和 动态 加 权 随 机 采样 方法 
从 Rest 测试 集 最 后 10 个 批 次 中 采样 的 非 对 比 性 句子 类 和 对 
比 性 句子 类 的 分 布 情况 ， | 


的 情感 分 类 能 力 。 


I 柱 体 代 表 非 对 比 性 


右 侧 柱 体 代表 对 比 性 句子 类 ， 由 图 所 示 ， 加 权 随 机 
采样 很 好 平衡 了 数据 集中 关键 性 对 比 性 句子 严重 稀缺 的 问题 。 


—1 


E 集 上 的 易 错 样 


本 分 析 统 计 表 ， 运 行 10 次 分 类 错误 次 数 超过 5 次 的 样本 被 


BERT-DK: 在 BERT 模型 基础 上 ， 使 用 域 (笔记 本 电脑 
或 餐厅 ) 评 论 , 对 预先 训练 过 的 BERT 权重 首先 执行 掩 码 语言 
(MLM) 建 模 , 再 进行 下 一 句子 (NSP) 预 测 , 然后 使 用 有 监督 的 
ASC 数据 进行 微调 。 
43 实验 结果 与 讨论 
模型 的 性 能 采用 Accuracy 和 Macro-f1 度量 来 评估 , K 4 


个 ， 占 上 


他 标签 ， 


EX “Hard Sample" , 
性 分 类 最 易 出 错 (Rest 和 Lap 数据 集中 的 Hard 


上 709904 E), B4% 


A oic 


本 ， 可 以 看 出 模型 对 中 


Sample 均 为 22 
标签 预测 成 其 


体现 倾向 于 把 中 性 


或 者 是 把 其 他 标签 预测 成 中 性 ， 主 要 原因 可 能 在 于 


中 性 情绪 本 就 是 一 种 非常 模糊 的 情感 状态 ， 


THRE H 


同时 与 数据 集 人 


性 存在 不 可 靠 性 


关 ; 另外 ， 模 型 对 


} 整 名 中 存在 对 


202205.00093v1 
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比 性 意见 的 句子 ( 含 对 比 句 ) 预 测 出 错 率 占 比 高 (Rest 数据 集中 . wen 
20 个 ,Lap 数据 集中 18 个 ， 占 比 58% 以 上 )， 而 且 方 面 词 在 整 中 contra 
句 中 所 处 的 位 置 非 常 关键 。 2 
与 数据 集 人 工 标注 中 性 存在 不 可 靠 性 有 关 ， 另 外 ， 模 型 Es 
对 整 句 中 存在 对 比 性 意见 的 句子 ( 含 对 比 句 ) 预 测 出 错 率 占 比 JH 
高 (Rest 数据 集中 20 个 ,Lap 数据 集中 18 个 , 占 比 58% 以 上 )， | ii 
而 且 方 面 词 在 整 句 中 所 处 的 位 置 非常 关键 。 A 
此 处 用 2 个 非 对 比 句 易 错 样本 为 例 来 展示 中 性 分 类 不 稳 | uu c 9 oc on 
定性 和 整 句 中 存在 对 比 性 意见 时 ， 方 面 词 与 代表 情绪 性 词汇 (a) 随 机 采样 
相对 距离 不 同 ， 分 类 难 易 不 同 ， 具 体 见 图 3 和 4。 5 — 
增加 带 相 对 位 置 的 自 注 意 力 模块 后 ， 在 HardSamplel 77 


fii][leather carrying case] 的 10 次 预测 中 ， 错 误 预 测 由 7 次 
降 为 4 次 ， 不 再 是 易 错 样本 ， 而 HardSample2 方面 词 - 
[application] ýJ 10 次 预测 中 ， 错 误 预 测 由 10 次 降 为 8 次 , 但 . ] | | | | I || | 
还 是 属于 易 错 样本 。 一 方面 说 明 自 注意 力 模块 能 够 提升 模型 ， 


对 中 性 类 的 分 辨 能力 ， 模 型 泛 化 能 力 增强 ， 另 外 一 方面 也 说 P 

明 中 性 类 不 稳定 和 整 句 中 存在 对 比 性 意见 对 分 类 结果 的 影响 (b) 动 态 加 权 随 机 采样 

等 问题 依然 是 ASC 任务 的 瓶颈 ， 这 也 是 作者 后 面 的 研究 重 图 2 Rest 测试 集中 最 后 10 个 批 次 采样 的 非 对 比 句 和 

点 。 标 签 平 滑 正则 化 (LSR) 的 处 理 使 得 中 性 类 样本 的 预测 准确 对 比 句 的 分 布 情况 

率 得 到 一 定 的 提升 ， 从 三 个 消融 模型 的 实验 结果 来 看 ， 提 升 Fig.2 Distribution of no contra samples and contra samples in the 
大 概 在 0.12-0.2% 之 间 ， 表 4 中 就 不 再 详细 标注 。 last 10 batches of Rest test set 


表 5 验证 集 上 易 错 样本 (Hard Sample) 分 析 


Tab.5 Hard sample analysis on validation set 


" Hard Sample 中 与 “中 性 ”相关 的 样本 包含 不 同意 见 词汇 的 句子 
数据 集 总 计 Hard Sample - 
样本 极 性 为 “中 性 ” ”预测 极 性 为 “中 性 ” 对 比 句 非 对 比 句 
Rest 150 31 16 6 4 14 
Lap 150 30 9 13 11 9 


Neutral，10 次 预测 ， 全 部 正确 
Hard Sample 1: 


第 2 个 方面 词 描述 事实 ， 不 表达 任何 情绪 
Y Y 
The leather carrying case, keyboard and mouse arrived in two days from Memphis warehouse. 
4 4 
第 1 个 方面 词 第 3 个 方面 词 


Neutral，10 次 预测 ，7 次 错误 预测 成 Positive Neutral，10 次 预测 ， 全 部 正确 


整 句 呈 Neutral 


图 3 Hard Samplel 展示 了 中 性 类 不 稳定 和 相对 位 置 对 分 类 结果 的 影响 
Fig.3 Hard samplel shows the neutral class’ instability and the influence of relative position on classification results 
Hard Sample 2: ed 2s ` 3 
整体 ， 不 作为 方面 词 Negative 描述 事实 ， 不 表达 任何 情绪 


3 Weeks went by and the.computer keeps crashing and will not open any applications. 


M ou 4 
方面 词 


Neutral，10 次 预测 ，10 次 错误 预测 成 Negative 


一 


整 句 呈 Negative 
图 4 Hard Sample2 展示 了 中 性 类 不 稳定 和 整 句 中 存在 对 比 性 意见 对 分 类 结果 的 影响 


Fig.4 Hard sample2 shows the neutral class’ instability and the impact of the existence of comparative opinions in 


the whole sentence on the classification results 
5 ”结束 语 集中 的 复杂 句 进 Wu d Uc ASC 分 类 器 性 能 的 关 
i 键 不 仅 要 解决 对 比 名 稀缺 问题 ， 还 要 注意 中 性 类 不 稳定 问题 
本 研究 注意 到 BERT 作为 情感 分 类 任务 预 训练 模型 时 存 。 和 整 句 中 存在 对 比 性 意见 时 对 其 中 具体 方面 正确 分 类 所 带 来 
在 的 位 置信 息 损失 问题 ， 采 用 实证 法 对 验证 集 上 易 错 样本 加 的 挑战 。 该 文通 过 动态 加 权 采 样 方法 平衡 对 比 句 和 非 对 比 句 
以 分 析 , 证 实 了 位 置信 息 对 分 类 的 重要 性 。 同 时 对 ASC 数据 ”训练 样本 数量 ， 并 利用 自 注 意 力 网 络 提取 带 相对 位 置 的 特征 


jm 


录用 定稿 


K Oğ, 
表示 和 预 训练 模型 提取 的 带 绝 对 位 置 特征 表示 联合 训练 ， 辅 
以 标签 平滑 正则 化 处 理 。 实 验 结果 表明 ， 该 模型 在 处 理 对 
ASC 任务 至 关 重 要 的 对 比 句 方面 取得 了 新 突破 ， 同 时 在 整个 
测试 集 上 分 类 效果 也 很 好 。 
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